Dance Training Tool Using Kinect-Based Skeleton Tracking and Evaluating Dancer’s Performance

Authors

Authors and affiliations

Email author

Email author

Email author

International Conference on Industrial, Engineering and Other Applications of Applied Intelligent Systems

IEA/AIE 2017: Advances in Artificial Intelligence: From Theory to Practice pp 27-32

Conference paper

2

Citations

1.5k

Downloads

Part of the Lecture Notes in Computer Science book series (LNCS, volume 10351)

Abstract

In this preliminary work, we propose a system prototype for Thai Dance training. This paper considers the problem of teaching traditional dances from Thailand. This is particularly useful given the lack of teachers and tools for teaching dances. In order to build a software tool helping people learn Thai dances, the main problems are (i) how to represent the dance gestures and movements of the dance to teach, (ii) how to display it for the learner and how to rate the performance of the learner and provide him useful feedback. Fortunately, Natural User Interfaces (NUI) enables users to interact with a system in a natural and intuitive way. For instance, a user can interact with the system by his body through postures and movements. In this study, we developed a working prototype of a system teaching users traditional Thai dances. The system requires Kinect-based device to enable real-time skeleton tracking. For the reference postures/movements dataset, we collected dance movement from experts by Motion Capture System and used the collected data to represent the dance in the system. Moreover, the system is designed such that it rates the user’s performance and provides helpful and real-time feedback to the user.

この予備的作業では、タイのダンストレーニングのためのシステムプロトタイプを提案する。この論文では、タイの伝統的なダンスを教えるという問題を考える。これは、ダンスを教えるための教師やツールが不足していることを考えると、特に有効である。タイ舞踊の学習を支援するソフトウェア・ツールを構築するための主な問題は、(i) 教えるべき舞踊のジェスチャーや動きをどのように表現するか、(ii) 学習者のためにそれをどのように表示するか、そして学習者のパフォーマンスをどのように評価し、有用なフィードバックを提供するか、である。幸いなことに、ナチュラル・ユーザー・インターフェース（NUI）は、ユーザーが自然で直感的な方法でシステムと対話することを可能にする。例えば、ユーザーは自分の体の姿勢や動きを使ってシステムと対話することができます。本研究では、タイの伝統的な踊りをユーザーに教えるシステムのプロトタイプを開発しました。このシステムには、リアルタイムのスケルトン・トラッキングを可能にするKinectベースのデバイスが必要です。基準となる姿勢や動作のデータセットは、モーションキャプチャーシステムを用いて専門家からダンスの動作を収集し、そのデータを用いてシステム内でダンスを表現した。さらに、このシステムは、ユーザーのパフォーマンスを評価し、ユーザーに有益でリアルタイムなフィードバックを提供するように設計されています。

Keywords

Microsoft kinect Skeleton tracking Thai dance